Diagnosing and Mitigating Retrieval Bottlenecks in LLM-Based Cold-Start Recommendation
诊断并缓解基于LLM的冷启动推荐中的检索瓶颈
🧭 检索瓶颈诊断与学习混合融合 ★ 深度解读
University of Maine at Presque Isle · Stanford University · Independent Researcher
冷启动推荐性能瓶颈在检索覆盖而非LLM重排序能力，学习多路融合LHF部分缓解但仍需轻量排序器利用信号
📌 工作参考价值（4 点）
- 冷启动瓶颈在召回不在精排：即使LLM在候选池已有正确物品时有一定语义优势，真实场景下检索覆盖率仅4.6%–22.9%，因大量物品无交互记录。应优先投入多路召回、新物品索引与语义匹配，而非仅优化在线LLM重排序。
- 学习型多路召回融合（LHF）即插即用：利用多个检索器（文本/协同/图）的排名、分数、标志位，加上物品冷启标识、用户冷启标识等少量元特征，训练GBDT做候选池级融合，可提升覆盖率17–61%（内容域）。特征在服务时均可从训练快照或请求时计算，轻量易部署，适合电商冷物品曝光。
- LLM在线重排序性价比极低：Qwen3-8B吞吐仅为LightGCN的1/937、显存占用9倍，但端到端Recall@10普遍下降或持平，在协同信号强的域甚至显著退化（Yelp降3.1pp）。建议将LLM仅用于离线生成语义特征或物品表示，而非在线重排序。
- 评估协议要还原真实检索：注入金标的“正控池”评估会高估LLM能力，且负采样方式（均匀/流行度加权）会反转CF与LLM的相对优势。搭建检索-真实池召回×条件Top-K的分解评估框架，才能正确诊断系统瓶颈。